Le rôle des métriques d'évaluation dans le processus de recherche en TAL
نویسنده
چکیده
Research in natural language processing (NLP) has both scientific and technological dimensions. In both cases, it is necessary to evaluate the implemented systems in order to assess the success of a study. This article, grounded in the ISO framework for software evaluation, introduces a typology of NLP systems based on the role of language as input or output data, in order to analyze the central role of evaluation metrics at several stages of the NLP research process. The article focuses on the evaluation metrics that compare the response of a system to a set of correct responses. The analysis of several evaluation examples, in particular the case of machine translation systems, shows the importance of a coherent choice of metrics and of the joint use of several metrics. The influence of the context of use on the set of metrics and the case of interactive systems are discussed as a conclusion. MOTS-CLÉS : systèmes de TAL, évaluation, normes ISO, caractéristiques de qualité, métriques
منابع مشابه
Rôle et techniques de l'alignement d'ontologies : un survol de l'état de l'art
Le besoin d’intégrer et d’analyser des grandes masses est présent dans de nombreux domaines d’applications. Le problème de l’alignement d’ontologies/schémas dont le résultat est un ensemble de correspondances entre différentes représentations du monde réel, est au centre du processus d’intégration des données. En effet, l’intégration de données est motivée par la forte hétérogénéité des données...
متن کاملLe rôle de l'utilisateur dans un processus d'extraction de règles d'association
Résumé. De nombreux travaux ont porté sur l'extraction de règles d'association. Cependant, cette tâche continue à intéresser les chercheurs en fouille de données car elle soulève encore plusieurs défis. En particulier, son utilisation en pratique reste difficile : d'une part, le nombre de règles apprises est souvent très grand, d'autre part, le traitement des valeurs numériques dans cette tâche...
متن کاملInspiration nihiliste dans La Chouette aveugle de Sadegh Hedayat
La Chouette aveugle de Sadegh Hedayat, auteur iranien, qui appartient à la catégorie des œuvres dites « noires », se fonde sur une inspiration nihiliste. Malgré l’influence indéniable de la philosophie nihiliste dans la création de cette œuvre compliquée, il n’y a aucune étude cohérente qui traite ce sujet de différents points de vue. Ce qui est certain, c’est que Hedayat était un lecteur atten...
متن کاملEtablissement de l'immunité et élaboration des anticorps neutralisants et agglutinants, chez le lapin, par injection de virus de la vaccine incorporé dans les vaccins associés. Rôle des injections de rappel
متن کامل
Articulation entre élaboration de solutions et argumentation polyphonique
RÉSUMÉ Cette analyse tente d'une part de montrer l'articulation entre l'expression des arguments exprimés en (dé)faveur de la demande de modifications et de la solution existante et la co-élaboration de nouvelles solutions, et d'autre part le rôle du processus de la polyphonie (« plusieurs voix »). … MOTS-CLÉS Pragma-dialectique, ergonomie de la conception, argumentation polyphonique 1. INTRODU...
متن کاملذخیره در منابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
عنوان ژورنال:
- TAL
دوره 48 شماره
صفحات -
تاریخ انتشار 2007